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RESUMEN 


La creciente utilización de la informática ha irrumpido en todas las esferas de la sociedad. En la joven 
provincia de Mayabeque esta ciencia ha cobrado gran auge en los últimos años, pues el gobierno se ha 
dado a la tarea de impulsar la informatización de todos los sectores de la provincia. Este trabajo centra el 
uso de esta ciencia en la educación, para evaluar Objetos de Aprendizaje (OA), siendo estos los recursos 
de mayor utilización en este sector. En esta área se han realizado diferentes propuestas por varios 
investigadores, los enfoques más utilizados han sido el de expertos, usuarios y metadatos de manera 
aislada. En esta investigación se presenta una propuesta integradora que tiene en cuenta de forma 
novedosa la utilización de estos tres enfoques para evaluar la calidad de los OA de un repositorio. Todo 
esto se describe a través de una arquitectura que integra tres capas: conceptualización, procesamiento e 
interfaz. Se presenta además como novedad una ontología para obtener un nuevo conocimiento sobre la 
evaluación de calidad de los OA. Finalmente se obtiene un OA evaluado con un nivel de calidad de 
Excelente, Bueno, Regular o Malo y es aplicada en la Universidad Agraria de La Habana (UNAH). 


Palabras clave: objeto de aprendizaje- OA, evaluación, calidad, ontología. 


ABSTRACT 


The increasing use of information technology has broken into all spheres of society. In the young 
province of Mayabeque, this science has become very popular in recent years, as the government has 
taken on the task of promoting the computerization of all sectors of the province. This work focuses on 
the use of this science in education, to evaluate Learning Objects (LO), these being the most widely used 
resources in this sector. In this area different proposals have been made by various researchers, the most 
widely used approaches have been that of experts, users and metadata in isolation. In this research, an 
integrative proposal is presented that takes into account in a novel way the use of these three approaches 
to evaluate the quality of the LOs of a repository. All this is described through an architecture that 
integrates three layers: conceptualization, processing and interface. An ontology is also presented as a 
novelty to obtain new knowledge about the quality assessment of LOs. Finally, an OA evaluated with a 
quality level of Excellent, Good, Fair or Bad is obtained and it is applied at the Agrarian University of 
Havana (UNAH). 


Keyword: learning object- OA, evaluation, quality, ontology. 
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1. INTRODUCCIÓN 


La irrupción de las nuevas tecnologías en todos los ámbitos de la sociedad no ha pasado 
por alto a la provincia de Mayabeque, en la cual una de las esferas de mayor prioridad 
para el gobierno es la educación, en la cual el aprendizaje electrónico genera nuevas 
necesidades tales como el desarrollo y mejora de materiales educativos, considerados 
como OA, siendo estos los recursos digitales que se pueden reutilizar para apoyar el 
aprendizaje según [1], distinguiéndose de otros recursos por su predisposición a la 
reutilización en múltiples contextos, además de su disponibilidad en diferentes 
ambientes [2]. 


Es importante considerar que un elemento ligado a los OA son los Repositorios de 
Objetos de Aprendizaje (ROA), que se encargan de almacenarlos para su recuperación y 
reutilización, por ello, como plantea [3], se convierten en una necesidad para 
complementar las funciones de los OA. Estos materiales educativos no solo deben estar 
disponibles, deben cumplir con un nivel de calidad que permita más posibilidad para 
lograr los objetivos de aprendizaje esperados en los estudiantes. 


La definición del concepto de calidad de OA se puede establecer desde diferentes 
enfoques y parámetros que abordan diferentes temas. La razón principal para 
preocuparse por la calidad en los OA es que se trata de recursos de apoyo al 
aprendizaje. Aun cuando no es el único factor que afecta a los procesos de enseñanza- 
aprendizaje, la carencia de controles de calidad de los recursos educativos puede afectar 
al proceso y sus resultados en los estudiantes. 


Dada su relevancia en los actuales escenarios de aprendizaje, el concepto de calidad de 
OA y el desarrollo de mecanismos apropiados para su evaluación ha ido ganando 
importancia, con el fin de garantizar el acceso a estos recursos con un nivel de calidad 
según la escala que se defina en cada propuesta. Dentro de los enfoques que más se ha 
trabajado para evaluar la calidad son los de evaluación por expertos, usuarios y 
metadatos, ya que estos son más aplicables al contexto de los OA. Sin embargo no se 
identificó la integración de estos tres enfoques en un solo trabajo para poder evaluarlos 
desde diferentes puntos de vista 


2. MATERIALES Y MÉTODOS 


La propuesta para evaluar de forma integradora la calidad de los OA se describe a través 
de una arquitectura compuesta por tres capas (Fig. 1). La primera corresponde a la 
conceptualización del dominio, que se encarga de la gestión de los datos y el diseño de 
la ontología donde se definirán los conceptos, relaciones y reglas que se tienen en 
cuenta para el dominio especificado. Estos datos de la ontología serán utilizados en la 
próxima capa en cada uno de los procesos a través de los cuales se evalúa la calidad. La 
segunda capa es la de procesamiento, dentro de ella se encuentran los procesos 
"Evaluación del OA durante su diseño", "Evaluación del OA durante su vida útil" y 
"Evaluación final del OA”. Los dos primeros procesos utilizan la información descrita 
en la ontología para realizar el cálculo de la calidad de un OA, que a través de reglas 
definidas en dicha ontología permiten inferir conocimiento sobre su calidad. Una vez 
concluidos estos procesos se tiene por tanto un OA evaluado. Por último la tercera es la 
interfaz de usuario, la cual se encarga de la presentación de la información. 


Ciencia e Ingeniería 2020 Vol. (7) N* (2) Lilibeth M. González Ruiz y Yusney Marrero García 
PROPUESTA INTEGRADORA DE EVALUACIÓN DE CALIDAD DE OBJETOS 
DE APRENDIZAJE PARA EL SECTOR EDUCATIVO 


m 
pn 
Z interfaz de 
Pra administración interfaz de usuario 
o 0A+ Qs * F 
>, NE 
: S | 
8 Proceso* 1: Proceso 2: a,  Procesox3: 
£ Evaluación del OA Evaluación del OA ¿0% Evaluación final del 
durante su diseño durante su vida útil OA 
z 
2 Calidad 
5 o wo >, 
: cc. A 
3 o e.“ 
$ 
o 


Fig. 1: Arquitectura general de la propuesta de evaluación de la calidad de OA 
1. Capa de conceptualización del dominio 


En la Fig. 1 se presenta como base de la arquitectura la capa de conceptualización del 
dominio describiéndola a través de una jerarquía de objetos con sus relaciones y 
características. En esta sección se describe la propuesta para la representación de los 
datos para evaluar la calidad de OA. El principal objetivo es proporcionar descripciones 
semánticas que representen las propiedades y relaciones que describen el 
comportamiento de los parámetros que se tienen en cuenta a través de la ontología 
“Eval0AOntología”, para la evaluación de la calidad de OA. Esta decisión se basa en el 
hecho de que no se encontraron ontologías que describan los parámetros de los 
diferentes enfoques (metadatos, usuarios y expertos). Además permitirá inferir 
conocimiento partiendo de la información contenida en ella. 


Esta ontología ha sido desarrollada aplicando la metodología METHONTOLOGY [4]. 
Esta es una de las propuestas más completas ya que toma la creación de ontologías 
como un proyecto informático. Así, además de las actividades propias de la generación 
de la ontología esta metodología abarca actividades para la planificación del proyecto, 
la calidad del resultado, la documentación, etc. Además permite construir ontologías 
totalmente nuevas o reutilizar otras. Está compuesta por cinco etapas: especificación, 
conceptualización, formalización, implementación y mantenimiento. 


En la etapa de especificación se establece el propósito de la construcción de la 
ontología, es decir se realiza una investigación exhaustiva y se analiza con qué fin será 
creada y quiénes serán los usuarios finales. Una vez que se tiene especificada esta 
información se pasa a la etapa de conceptualización. En ella se estructura el 
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conocimiento del dominio desde cero o con modelos ya existentes. Para ello se destacan 
los distintos componentes de la ontología (conceptos, atributos, relaciones, reglas, etc.). 

Culminadas estas tareas se pasa a la etapa de formalización donde se transforma el 
modelo conceptual a un modelo formal utilizando Protege como editor para la 
construcción de la ontología, además se utilizó la interfaz de Jena para acceder al editor 
y llevar a cabo la recuperación de la evaluación de un OA mediante las reglas definidas. 
Posteriormente se pasa a la etapa de implementación que crea modelos computables en 
un lenguaje de ontologías. Para esta propuesta se ha utilizado el lenguaje Web Ontology 
Language (OWL), aplicando el resultado de la metodología METHONTOLOGY 
descrita anteriormente. 


Finalmente se pasa a la etapa de mantenimiento, siendo la última de la metodología 
donde se actualiza y corrige la ontología en caso de ser necesario y además se lleva a 
cabo la validación de la misma. Una vez culminado el diseño e implementación de las 
etapas de la metodología utilizada se pasa entonces a la capa de procesamiento, donde 
se utilizará la ontología desarrollada para evaluar la calidad de un OA mediante reglas 
definidas. 


2. Capa de procesamiento 


Dentro de esta capa se llevan a cabo tres procesos los cuales fueron descritos en la Fig. 
1, donde se realiza la evaluación del OA desde su diseño inicial, pasando por una fase 
donde se evalúa la calidad social, una vez que el objeto es utilizado y por último se hace 
una evaluación final teniendo en cuenta los dos primeros procesos. Es en esta capa 
donde se utiliza la ontología al recuperar un OA de un repositorio y solicitar su 
evaluación, es en ese momento donde se accede a la ontología mediante la interfaz de 
Jena y a través de las consultas SPARQL extraer las instancias de los conceptos de la 
ontología que se tienen en cuenta al utilizar las reglas que permiten inferir la evaluación 
que tiene un objeto. Cada uno de los procesos se describe a continuación. 


2.1 Proceso +1: Evaluación del OA durante su diseño 


El primer proceso de evaluación se realiza durante el período de diseño del OA, a partir 
de un conjunto de parámetros predefinidos. A cada uno de los parámetros (P1) utilizados 
se le asigna un peso (Wi). El valor de estos parámetros será extraído a partir del propio 
contenido del OA más su descripción por sus metadatos. De este proceso se obtiene un 
primer valor llamado calidad inicial (Qi) del OA. Los parámetros de evaluación de la Qi 
que se tienen en cuenta son: 


2.1.1 Cumplimiento del estándar de metadatos 


Este parámetro se obtiene a partir de los metadatos del OA, pues cada recurso educativo 
requiere de datos que lo describan correctamente. Para ello, es necesario analizar qué 
tan completos y bien estructurados se encuentran los metadatos según el estándar 
predefinido, ya que de estos depende en gran medida la calidad y permitirá garantizar 
un mejor funcionamiento sobre el sistema de búsqueda del repositorio para su 
recuperación. La calidad de un OA teniendo en cuenta este parámetro se obtiene a partir 


de las reglas de la Fig. 2. 
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Stcant =Total — E Donde: 
Sicant = cant_obligatorio + E cant es la cantidad de metadatos que se 
se Teil e cone < Total > B tienen llenos para un OA. 


cant_obligatorio es la cantidad de 
Total 


> — . , 
A EME de metadatos que son de carácter obligatorio. 
Sicant =1 —M Tota/ es el total de metadatos a llenar según 
Sicant =0 >M el estándar establecido para un repositorio. 


Fig. 2: Reglas para evaluar el parámetro Cumplimiento del estándar de metadatos 


Teniendo en cuenta el valor cualitativo que toma este parámetro se muestra en la Tabla 
1 su equivalente cuantitativo con el cual se realiza el cálculo para este primer proceso de 
la propuesta. 


Tabla 1: Valor cualitativo y su equivalente cuantitativo 


Valor Abreviatura Equivalente cuantitativo 
cualitativo 

Excelente E 5 

Bueno B 4 

Regular R 3 

Malo M 2 


Por lo tanto se obtiene un valor de calidad de este parámetro que se describe como: 
Qmetadatos = val_cualit_metadatos. 


2.1.2 Confiabilidad de la fuente 


Teniendo en cuenta los datos del autor se obtiene este segundo parámetro. En 
dependencia de la categoría docente, grado científico y publicaciones obtenidas en esa 
temática, se obtiene el valor final del parámetro, por tanto se calcula teniendo en cuenta 
los sub-parámetros, Experiencia del autor y Publicaciones del autor en el tema. A su vez 
estos contienen otros que son los que permiten realizar el cálculo de cada uno de ellos. 
La Experiencia del autor se calcula teniendo en cuenta la Categoría docente y Categoría 
científica, las cuales pueden tomar cuatro valorescada uno con un peso (Wi) como se 
muestra en la Tabla 2. 


Tabla 2: Valor de peso (Wi) para cada Categoría docente y científica 


Categoría Peso (Wi) Categoría científica Peso (Wi) 
docente 

Titular 5 Doctor(a) 5 

Auxiliar 4 Móster 4 
Asistente 3 Licenciado 3 
Instructor 2 Ingeniero 5] 


Partiendo de estos elementos se obtiene un valor de calidad (Fig. 3) según [5]. 
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Donde: 

W, es el peso tanto de la Categoria docente 
como de la Categoría científica. 

P, es el parámetro que se utiliza para cada 
peso W,. 


Fig. 3: Ecuación para calcular el sub-parámetro Experiencia del autor 


Posteriormente se obtiene cualitativamente su evaluación mediante las reglas de la Fig. 


4. 


Si8 SEA <10 >E 
Si723EA26>B 
SiEA =5 =>R 
SIEA<S >M 


Donde: 
EA es la Experiencia del autor. 


Fig. 4: Reglas para evaluar el sub-parámetro Experiencia del autor 


Las Publicaciones del autor en el tema se calculan teniendo en cuenta la cantidad de 
publicaciones como Autor principal y como Coautor, a partir de las reglas de la Fig. 5. 


Sí cant_autorprincipal 23 =>E 
Si cant_autorprincipal =2 = B 
Si cant_autorprincipal =1 =R 
Si cant_autorprincipal =0 =>M 


Autor principal 


Sicant_coautor 23 > E 
Si cant_coautor =2 >B 
Si cant_coautor =1 »R 
Sicant_coqutor =0 => M 


Coautor 


Donde: 


cant_autorprincipal es la cantidad total de 
publicaciones como Autor principal. 


Donde: 


cant_coautor es la cantidad total de 
publicaciones como Coautor. 


Fig. 5: Reglas para evaluar el sub-parámetro Publicaciones del autor en el tema 


Teniendo en cuenta estos resultados se obtiene su valor (Fig. 6). 


PÁ = cant_autorprincipal + cant_coautor de 


Donde: 
PA es la suma de la cantidad total 


publicaciones como Autor 
principal y Coautor. 


Fig. 6: Ecuación para calcular el sub-parámetro Publicaciones del autor en el tema 


Seguidamente se obtiene la evaluación final del sub-parámetro a partir de las reglas de 


la Fig. 7. 
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SiPA 23 E Donde: 
SiPA =2 =B 
SIPA =1 —>R 
SiPA=0 =M 


PA es la cantidad total de publicaciones 
como Autor principal y Coautor, 


Fig. 7: Reglas para evaluar el sub-parámetro Publicaciones del autor en el tema 


Partiendo de estos resultados se obtiene un valor de calidad de este sub-parámetro que 
se describe como: QPublicacionesAutor = PA. 

Una vez calculados estos sub-parámetros se procede al cálculo de la Confiabilidad de la 
fuente que engloba los anteriores, para lo cual se tienen en cuenta las reglas de la Fig. 8. 


Si(EA=ENPA=E)=>E 
Si(EA =BNPA=B)>B Donde: 


re el ps A = 5) E A EA es la Experiencia del autor. 
Si(EA =ENPA=R)>B PA son las Publicaciones del autor en el 


Si(EA =RNPA=E)>B tema. 
SI(EA =RNPA=R)>R 
Si(EA =RNPA=B)=>R 
Si(EA =BNPA=R)=R 
Si(EA =RNPA=M)>R 
Si(EA =MNPA=R)>R 
Si(EA =ENPA=M)=>R 
Si(EA =MNPA=E)>R 
Si(EA =BNPA=M)=R 
SI(EA =MNPA=B)=R 
Si(EA =MNPA=M)>M 


Fig. 8: Reglas para evaluar el parámetro Confiabilidad de la fuente 


Una vez aplicadas estas reglas se obtiene un valor de calidad de este parámetro: 
OConfiabilidadFuente = val_cualit_conf. 


2.1.3 Facilidad de aprendizaje 


Este parámetro se evalúa mediante un experto el cual tendrá en cuenta dos sub- 
parámetros: Estructura del OA y Cumplimiento con la estrategia de aprendizaje, para lo 
cual se tendrá en cuenta los apartados del OA y el nivel de calidad de su contenido. Para 
ello se tiene en cuenta un peso (Wi) para cada valor que puede tomar la evaluación, los 
cuales fueron mostrados anteriormente en la Tabla 1. 

Partiendo de estos elementos se obtiene un valor de calidad de cada sub-parámetro que 
se calcula como se muestra en la Fig. 9, según [5]. 
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Donde: 


W, es el peso tanto de la Estructura 
del OA como del Cumplimiento con 
la estrategia de aprendizaje. 

P, es el parámetro que se utiliza 
para cada peso W,. 


Oracitidadaprendizaje 7 ies (W¡-P;) 


Fig. 9: Ecuación para calcular el parámetro Facilidad de aprendizaje 


Con el valor cuantitativo del parámetro, se obtiene su resultado cualitativo teniendo en 
cuenta las reglas de la Fig. 10. 


SiFA=10=E Donde: 


Si8 <FA<10 >B E o 
Si6 <FA<8 >R debo la Facilidad de aprendizaje de 


Si4 <FA<6 >M 


Fig. 10: Reglas para evaluar el parámetro Facilidad de aprendizaje 


De los resultados obtenidos en los parámetros anteriores se obtiene finalmente el 
resultado del primer proceso de evaluación según [5]: 
Qi = QMetadatos + QConfiabilidadFuente + QFacilidadAprendizaje 


2.2 Proceso +42: Evaluación del OA durante su vida útil 


En el segundo proceso se realiza una evaluación del OA desde el punto de vista del 
usuario, es decir, una vez que el objeto ha sido utilizado se almacenan todas las 
opiniones. Este proceso se desarrolla a partir del parámetro (Ps) y se obtendrá partiendo 
de los criterios recopilados. El resultado de este proceso se denominará calidad social 
(Qs) de un OA y el parámetro de evaluación que se tiene en cuenta se describe a 
continuación. 


2.2.1 Opinión social 


Este parámetro se evalúa teniendo en cuenta las opiniones de los usuarios sobre un OA, 
para lo cual se tiene en cuenta un peso (Ws) para cada valor que puede tomar la 
evaluación, coincidiendo este peso con los valores mostrados anteriormente en la Tabla 
1. 

A partir de estos elementos se obtiene un valor de calidad social que se calcula según la 
Fig. 11. 
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Donde: 
W, es el peso de la Opinión social de un OA. 
Q.= Dz ¿(WsPs) P, es la Opinión social sobre un OA. 
5 — TotalopinionesOA Q, es la calidad social de un OA. 


Total opiniones OA es la cantidad total de 
opiniones de usuarios respecto a un OA. 


Fig. 11: Ecuación para calcular el parámetro Opinión Social 


Una vez calculado, se tiene por tanto el valor cualitativo de Qs del OA, siendo los 
posibles resultados los siguientes: 


510, =5>E 

$4 <0,<5>B 
Si32Q,<4 =>R 
512 52Q,<3 =>M 


Fig. 12: Valor cualitativo de Qs 


2.3 Proceso +43: Evaluación final del OA 


En el tercer proceso se evalúa teniendo en cuenta las evaluaciones obtenidas en los dos 
procesos anteriores. El resultado se denominará calidad final (Qf) del OA y se calcula: 
Qf = Qi + Qs. 

Con este resultado se obtiene un valor cuantitativo, y a través de las siguientes reglas se 
conoce el valor cualitativo del OA: 


SiQ¿=20> E 
Sil6 =Q/=19 =>B 
Si12 =Q/<153R 
s8 =0Q/211>M 


Fig. 12: Valor cualitativo de Qf 


De esta forma se obtiene la evaluación de calidad de un OA, teniendo en cuenta los 
parámetros y enfoques de la propuesta presentada. Seguidamente se pasa a analizar la 
capa de interfaz de usuario, abordada en la próxima sección. 


En Capa de interfaz de usuario 


La interfaz de usuario es un componente que no debe faltar en todo sistema 
informático. Tiene como requerimientos permitirle a los usuarios poder acceder a los OA 
de un repositorio para que sean evaluados teniendo en cuenta los parámetros definidos 
en la sección anterior, y que se encuentran en la ontología diseñada y con estos 
mediante reglas se infiere el valor de calidad de dicho objeto. 


Ciencia e Ingeniería 2020 Vol. (7) N* (2) Lilibeth M. González Ruiz y Yusney Marrero García 
PROPUESTA INTEGRADORA DE EVALUACIÓN DE CALIDAD DE OBJETOS 
DE APRENDIZAJE PARA EL SECTOR EDUCATIVO 


3. RESULTADOS Y DISCUSION 


La propuesta descrita se aplicó en la UNAH a los OA almacenados en RUNAH, por ser 
esta institución uno de los escenarios de mayor incidencia del gobierno en esta 
provincia, pues en ella se forman los futuros profesionales de Mayabeque y Artemisa. 
Específicamente en este trabajo se muestra la evaluación obtenida de un OA en 
particular de este repositorio, el cual una vez transitado por todo el proceso obtuvo una 
evaluación de calidad final de Bueno, estos resultados detallados por cada parámetro se 
muestran en la tabla 3. 


Tabla 3: Resultados de evaluación de calidad de un OA 


Tipo Parámetros /Subparámetros Evaluación parcial Evaluación 
calidad final 
Qmetadatos Excelente 
QexperienciaAutor Excelente 
Qi QPublicacionesAutor Excelente Excelente 
QoconfiabilidadFuente Excelente 
QFacilidadAprendizaje Excelente 
Opinión social Excelente (6 usuarios) 
Qs Bueno (3 usuarios) Bueno 
Regular (1 usuario) 
Qt: Q¡+ Qs Bueno 


4. CONCLUSIONES 


Se realizó una propuesta integradora para evaluar los OA en la UNAH, siendo uno de 
los sectores prioritarios del gobierno de la provincia de Mayabeque. 


Se integró en una propuesta los enfoques de metadatos, usuarios y expertos para evaluar 
los OA de un repositorio, utilizando una ontología y a través de reglas inferir 
conocimiento sobre la evaluación de la calidad de un OA. 


Se diseñó la ontología  “EvalOAOntología”, aplicando la metodología 
METHONTOLOGY, describiendo las propiedades y relaciones de los parámetros de 
evaluación y mediante reglas se infiere la calidad de un OA. 


Se validó la aplicabilidad del sistema en RUNAH con buenos resultados. 

Como continuidad se propone: (I) incluir nuevos enfoques y parámetros en la 
evaluación, (II) ampliar la forma de obtención de las opiniones sociales mediante la 
minería de opiniones. 
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